Recientemente, ByteDance lanzó un nuevo framework de sincronización labial llamado LatentSync, diseñado para lograr una sincronización de labios más precisa utilizando un modelo de difusión latente condicionado por audio. Este framework se basa en Stable Diffusion y se ha optimizado para la coherencia temporal. A diferencia de los métodos anteriores basados en la difusión del espacio de píxeles o la generación en dos etapas, LatentSync utiliza un enfoque de extremo a extremo, sin necesidad de una representación intermedia del movimiento, lo que permite modelar directamente la compleja relación entre el audio y la visión. En LatentSync

Recientemente, el equipo de investigación del Instituto de investigación DAMO de Alibaba ha publicado un importante logro de investigación llamado "SHMT: Transferencia de maquillaje jerárquica autosupervisada", que ha sido aceptado en la conferencia académica de primer nivel internacional NeurIPS2024. Esta investigación muestra una nueva tecnología de transferencia de efectos de maquillaje que utiliza modelos de difusión latente (Latent Diffusion Models) para generar imágenes de maquillaje con precisión, inyectando nueva vitalidad en las aplicaciones de maquillaje y el campo del procesamiento de imágenes. En pocas palabras, SHMT es una tecnología de transferencia de maquillaje que...